When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling
更多采样为何有害:测试时缩放的模态上限与相关性上限
🧭 推理时采样效率上限与停止策略
University of Illinois at Urbana-Champaign
揭示测试时缩放中盲目增加采样次数无法持续提升答案选择准确率,提出模态上限与相关性上限,并给出有效样本数作为停止信号。
📌 工作参考价值(4 点)
- 在基于 LLM 的推荐生成(如推荐理由、Query 改写)中采用多数投票时,利用模态上限确定最优采样规模,避免冗余推理成本。
- 评估生成式推荐模型时,将 pass@k(覆盖率)与业务指标(选择准确率)解耦,监控 identifiability gap,指引优化重点从生成转向答案识别。
- 在在线推理中计算有效样本数,作为动态停止采样的信号,实现自适应计算预算控制。
- 为提升 Agent 决策或链式推理的可靠性,应优先投资于验证器或置信度估计器,弥补识别瓶颈,而非单纯扩大采样次数。